'''
此工程是用来分析https://db.yaozh.com/hmap/1.html
并且找到其中的共性
比如把相同的省市放到同一个文件夹中

http://zmister.com/archives/90.html中有新的并发方式

1.拿到所有的省市，并且根据省市创建文件夹，所有文件夹的父目录是日期
    对应的程序文件名为：demo_init_parent_dir.py
2.拿到https://db.yaozh.com/hmap/38994.html中的页面中的数据放到所属的文件夹中，不能匹配的就放到extra文件夹中
    对应的程序文件名为：demo_source_into_dir_1page.py
3.拿到https://db.yaozh.com/hmap/38994.html和https://db.yaozh.com/hmap/1.html的页面中的数据放到所属的文件夹中，不能匹配的就放到extra文件夹中
    对应的程序文件名为：demo_source_into_dir_2page.py
4.拿到0-100页中的文件夹中的数据，并放到对应的文件夹中，不能匹配的就放到extra文件夹中（通用，记录时间）
    对应的程序文件名为：demo_source_into_dir_100page_common.py
5.拿到0-100页中的文件夹中的数据，并放到对应的文件夹中，不能匹配的就放到extra文件夹中（使用多线程并发，记录时间）
    对应的程序文件名为：demo_source_into_dir_100page_threads.py

如果前面的没用了，就直接从列表中删除

使用循环获取的代理IP能提高效率，但是还是不智能，因为如果西刺代理封掉IP，就没办法了。
另外，只能从头把代理ip进行循环，不能用费了一个就删除这个ip，也不能这一页的ip不能用就跳转到第二页的西刺代理

以上demo的输出目标文件夹是output/输出目标文件夹是demo+标题+日期/
'''